Convolutional Neural Networks for Real-Time Beat Tracking: A Dancing Robot Application

In this paper a novel approach that adopts Convolutional Neural Networks (CNN) for the Beat Tracking task is proposed. The proposed architecture involves 2 convolutional layers with the CNN filter dimensions corresponding to time and band frequencies, in order to learn a Beat Activation Function (BAF) from a time-frequency representation. The output of each convolutional layer is computed only over the past values of the previous layer, to enable the computation of the BAF in an online fashion. The output of the CNN is post-processed by a dynamic programming algorithm in combination with a bank of resonators for calculating the salient rhythmic periodicities. The proposed method has been designed to be computational efficient in order to be embedded on a dancing NAO robot application, where the dance moves of the choreography are synchronized with the beat tracking output. The proposed system was submitted to the Signal Processing Cup Challenge 2017 and ranked among the top third algorithms.

本論文ではビートトラッキングタスクに畳み込みニューラルネットワーク（CNN）を採用する新しいアプローチを提案した。提案されたアーキテクチャは、時間周波数表現からビート活性化関数（ＢＡＦ）を学習するために、時間および帯域周波数に対応するＣＮＮフィルタ次元を有する２つの畳み込み層を含む。各畳み込み層の出力は、前の層の過去の値にわたってのみ計算され、オンライン方式でのBAFの計算を可能にします。顕著な律動的周期性を計算するために、ＣＮＮの出力は、共振器のバンクと組み合わせて動的計画法アルゴリズムによって後処理される。提案された方法は、振り付けのダンス動作がビートトラッキング出力と同期されるダンスＮＡＯロボットアプリケーションに組み込まれるために計算効率が良くなるように設計されている。提案されたシステムは、Signal Processing Cup Challenge 2017に提出され、上位3つのアルゴリズムの中でランク付けされました。

@inproceedings{GkiokasK17,

author = {A. Gkiokas and

V. Katsouros},

title = "{Convolutional Neural Networks for Real-Time Beat Tracking: {A} Dancing Robot Application}",

booktitle = {Proceedings of the 18th International Society for Music Information

Retrieval Conference, {ISMIR} 2017, Suzhou, China, October 23--27,

2017},

pages = {286--293},

year = {2017},

crossref = {DBLP:conf/ismir/2017},

timestamp = {Mon, 28 May 2018 13:15:26 +0200},

}